V-JEPA 2:百万小时视频上的 foundation world model
论文:V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(Meta,2025)。我的结论:V-JEPA 2 把 V-JEPA 从"好用的 frozen backbone"推到了 foundation model 量级——理解、预测、LLM 对齐三条线同时 SOTA,并且 latent rollout 已经可以直接当世界模型用,为后面的 action-conditioned 版本打了底。
1. 规模变了,哲学没变
Pre-training 数据:超过 100 万小时互联网视频 + 图像,依然是无动作标签、无 caption 的自监督。架构上还是 JEPA 三板斧:context encoder、窄 predictor、EMA target encoder,在 latent 空间做 masked prediction。
跟 V-JEPA 比,变化主要在 scale 和 task breadth,不在范式:
- 更大的 ViT backbone(ViT-g 量级)和更长的训练。
- 同样的 spatio-temporal tube masking,multi-block 策略。
- 新增 LLM 对齐和 physical reasoning benchmark,把"世界模型"从视觉表征学习推到可对话、可评测的层面。
Scale 带来的不只是 benchmark 分数:百万小时数据让 latent 里出现了更稳定的 object permanence 和 contact dynamics 表征——Physics-IQ 上 V-JEPA 2 相对 V-JEPA 1 的 jump 主要来自这里,不是改 loss 改出来的。
2. 理解:motion + anticipation SOTA
几个代表性数字:
- Something-Something v2(motion understanding):77.3% top-1,超过 prior task-specific 方法。
- Epic-Kitchens-100(human action anticipation):recall@5 39.7%,新 SOTA。
- 8B 参数 + LLM 对齐后的 video QA:PerceptionTest 84.0、TempCompass 76.9,同量级最优。
这些任务测的不是"重建像素像不像",而是 模型是否理解运动和因果——物体怎么动、动作还没发生之前世界是什么状态。V-JEPA 2 在 frozen 设定下就能做到这个水平,说明百万小时 latent prediction 确实压出了 physical dynamics 的结构化知识。
3. 预测:latent rollout 作为世界模型
V-JEPA 2 的 predictor 可以在 latent 里自回归 rollout:给定当前可见帧的 embedding,预测未来若干步的 latent 轨迹。跟生成式世界模型(Dreamer、Cosmos)比:
| 生成式 WAM | V-JEPA 2 | |
|---|---|---|
| 预测对象 | 像素 / video latent | abstract embedding |
| 推理成本 | 高(多步 denoise) | 低(一次前向 / 自回归 latent) |
| 可视化 | 直接看未来帧 | 需要额外 decoder |